Địa danh Phú Hữu có từ thời Pháp thuộc, khi đó là một làng thuộc tổng An Bình, quận Thủ Đức, tỉnh Gia Định. Làng Phú Hữu được hình thành trên cơ sở sáp nhập bốn làng có từ thời Nguyễn là An Thạnh, Hưng Thạnh, Tân Điền và Tuy Thạnh.

Sau năm 1956, các làng được gọi là xã, Phú Hữu là một xã thuộc quận Thủ Đức.

Sau năm 1975, xã Phú Hữu thuộc huyện Thủ Đức, Thành phố Hồ Chí Minh.

Ngày 6 tháng 1 năm 1997, Chính phủ ban hành Nghị định số 03-CP[1]. Theo đó:

• Chuyển xã Phú Hữu về Quận 9 mới thành lập
• Thành lập phường Phú Hữu trên cơ sở toàn bộ 1.073 ha diện tích tự nhiên và 3.939 người của xã Phú Hữu; 140 ha diện tích tự nhiên của xã Bình Trưng; 28 ha diện tích tự nhiên của xã An Phú.

Sau khi thành lập, phường có 1.241 ha diện tích tự nhiên và 3.939 người.

Ngày 9 tháng 12 năm 2020, Ủy ban thường vụ Quốc hội ban hành Nghị quyết 1111/NQ-UBTVQH14 về việc thành lập thành phố Thủ Đức trên cơ sở sáp nhập toàn bộ diện tích và dân số của Quận 2, Quận 9 và quận Thủ Đức[4], phường Phú Hữu thuộc thành phố Thủ Đức như hiện nay.